The NASA Astrophysics Data System (ADS) is an essential tool for researchers that allows them to explore the astronomy and astrophysics scientific literature, but it has yet to exploit recent advances in natural language processing. At ADASS 2021, we introduced astroBERT, a machine learning language model tailored to the text used in astronomy papers in ADS. In this work we: - announce the first public release of the astroBERT language model; - show how astroBERT improves over existing public language models on astrophysics specific tasks; - and detail how ADS plans to harness the unique structure of scientific papers, the citation graph and citation context, to further improve astroBERT.
translated by 谷歌翻译
用于探索美国国家航空航天局的搜索工具（广告）可以相当丰富和赋予（例如，类似和趋势的运营商），但研究人员尚未允许完全杠杆语义搜索。例如，对“普朗克任务的结果”查询应该能够区分普朗克（人，任务，常量，机构和更多）的所有各种含义，而无需从用户进一步澄清。在广告中，我们正在将现代机器学习和自然语言处理技术应用于我们最近的天文出版物的数据集，以培训Astrobert，这是一种基于Google研究的深刻语境语言模型。使用AstrBert，我们的目标是丰富广告数据集并提高其可发现性，特别是我们正在开发自己的命名实体识别工具。我们在这里展示我们初步的结果和经验教训。
translated by 谷歌翻译
种植植被是降低沉积物转移率的实用解决方案之一。植被覆盖的增加可降低环境污染和沉积物的运输速率（STR）。由于沉积物和植被相互作用复杂，因此预测沉积物的运输速率具有挑战性。这项研究旨在使用新的和优化的数据处理方法（GMDH）的新版本（GMDH）预测植被覆盖的沉积物传输速率。此外，这项研究介绍了一种用于预测沉积物传输速率的新集合模型。模型输入包括波高，波速，密度覆盖，波力，D50，植被盖的高度和盖茎直径。独立的GMDH模型和优化的GMDH模型，包括GMDH Honey Badger算法（HBA）GMDH大鼠群群算法（RSOA）VGMDH正弦余弦算法（SCA）和GMDH颗粒swarm swarm优化率（GMDH-PSO），用于预测沉积率（GMDH-PSO） 。作为下一步，使用独立的GMDH的输出来构建集合模型。合奏模型的MAE为0.145 m3/s，而GMDH-HBA，GMDH-RSOA，GMDH-SCA，GMDH-PSOA和GMDH的MAE在测试水平为0.176 M3/s，0.312 M3/s，0.367/s，0.367 M3/s，0.498 m3/s和0.612 m3/s。集合模型的Nash Sutcliffe系数（NSE），GMDH-HBA，GMDH-RSOA，GMDH-SCA，GMDH-PSOA和GHMDH分别为0.95 0.93、0.89、0.89、0.86、0.86、0.82和0.76。此外，这项研究表明，植被覆盖的沉积物运输速率降低了90％。结果表明，合奏和GMDH-HBA模型可以准确预测沉积物的传输速率。根据这项研究的结果，可以使用IMM和GMDH-HBA监测沉积物的传输速率。这些结果对于管理和规划大盆地的水资源很有用。
translated by 谷歌翻译
人们普遍认为，对于准确的语义细分，必须使用昂贵的操作（例如，非常卷积）结合使用昂贵的操作（例如非常卷积），从而导致缓慢的速度和大量的内存使用。在本文中，我们质疑这种信念，并证明既不需要高度的内部决议也不是必需的卷积。我们的直觉是，尽管分割是一个每像素的密集预测任务，但每个像素的语义通常都取决于附近的邻居和遥远的环境。因此，更强大的多尺度功能融合网络起着至关重要的作用。在此直觉之后，我们重新访问常规的多尺度特征空间（通常限制为P5），并将其扩展到更丰富的空间，最小的P9，其中最小的功能仅为输入大小的1/512，因此具有很大的功能接受场。为了处理如此丰富的功能空间，我们利用最近的BIFPN融合了多尺度功能。基于这些见解，我们开发了一个简化的分割模型，称为ESEG，该模型既没有内部分辨率高，也没有昂贵的严重卷积。也许令人惊讶的是，与多个数据集相比，我们的简单方法可以以比以前的艺术更快地实现更高的准确性。在实时设置中，ESEG-Lite-S在189 fps的CityScapes [12]上达到76.0％MIOU，表现优于更快的[9]（73.1％MIOU时为170 fps）。我们的ESEG-LITE-L以79 fps的速度运行，达到80.1％MIOU，在很大程度上缩小了实时和高性能分割模型之间的差距。
translated by 谷歌翻译
我们设计了一个开放式图像分割模型，以将图像组织到任意文本指示的有意义区域中。最近的作品（剪辑和对齐），尽管使用图像级字幕标签获得了令人印象深刻的开放式摄氏分类精度，但仍无法用像素分段视觉概念。我们认为这些模型错过了视觉分组的重要步骤，该模型在学习视觉语义对齐之前将像素组织成小组。我们建议OpenSeg解决上述问题，同时仍利用可扩展的图像级标题监督。首先，它学会了为可能的组织提出细分面具。然后，它通过将标题中的每个单词与一个或几个预测的面具对齐来学习视觉语义对齐。我们发现蒙版表示是支持字幕学习图像分割的关键，从而可以扩大数据集和词汇大小。 OpenSeg大大优于pascal数据集上LSEG最近的开放式LSEG +19.9 MIOU的开放式方法。
translated by 谷歌翻译
我们提出了一种称为基本的组合缩放方法，可在ImageNet ILSVRC-2012验证集上实现85.7％的前1个零点精度，超越了最佳发布的零拍模型 - 剪辑并对齐 - 达9.3％。我们的基本模式还显示出鲁棒性基准的显着改进。例如，在5个测试集中，具有自然分布换档，如想象的 - {A，R，V2，素描}和ObjectNet，我们的车型实现了83.7％的前1个平均精度，只有一个小幅度从其原始的想象精度下降。为实现这些结果，我们扩大了剪辑的对比学习框架，并在三个方面对齐：数据大小，型号大小和批量大小。我们的数据集具有6.6B噪声图像文本对，比对齐的4倍，比夹子大16倍。我们最大的型号具有3B重量，参数比为3.75倍，拖鞋比对齐和夹子更大。我们的批量尺寸为65536，比剪辑的2倍，4倍超过对齐。缩放的主要挑战是我们的加速器的内存有限，如GPU和TPU。因此，我们提出了一种在线渐变缓存的简单方法来克服这个限制。
translated by 谷歌翻译
Building instance segmentation models that are dataefficient and can handle rare object categories is an important challenge in computer vision. Leveraging data augmentations is a promising direction towards addressing this challenge. Here, we perform a systematic study of the Copy-Paste augmentation (e.g., [13,12]) for instance segmentation where we randomly paste objects onto an image. Prior studies on Copy-Paste relied on modeling the surrounding visual context for pasting the objects. However, we find that the simple mechanism of pasting objects randomly is good enough and can provide solid gains on top of strong baselines. Furthermore, we show Copy-Paste is additive with semi-supervised methods that leverage extra data through pseudo labeling (e.g. self-training). On COCO instance segmentation, we achieve 49.1 mask AP and 57.3 box AP, an improvement of +0.6 mask AP and +1.5 box AP over the previous state-of-the-art. We further demonstrate that Copy-Paste can lead to significant improvements on the LVIS benchmark. Our baseline model outperforms the LVIS 2020 Challenge winning entry by +3.6 mask AP on rare categories.
translated by 谷歌翻译
Current state-of-the-art convolutional architectures for object detection are manually designed. Here we aim to learn a better architecture of feature pyramid network for object detection. We adopt Neural Architecture Search and discover a new feature pyramid architecture in a novel scalable search space covering all cross-scale connections. The discovered architecture, named NAS-FPN, consists of a combination of top-down and bottom-up connections to fuse features across scales. NAS-FPN, combined with various backbone models in the RetinaNet framework, achieves better accuracy and latency tradeoff compared to state-ofthe-art object detection models. NAS-FPN improves mobile detection accuracy by 2 AP compared to state-of-the-art SS-DLite with MobileNetV2 model in [32] and achieves 48.3 AP which surpasses Mask R-CNN [10] detection accuracy with less computation time.
translated by 谷歌翻译